import jieba

text = '欢迎和徐老师学习数据挖掘。あした李さんは長嶋さんに会いましょう！'

split_list = jieba.cut(text, cut_all=True)
print(f'【全模式1】：{"/".join(split_list)}')
print(f'【全模式2】：{"/".join(split_list)}')

split_list = jieba.cut(text, cut_all=False)
print(f'【精确模式】：{"/".join(split_list)}')

text = '中华人民共和国有中国共产党。'

split_list = jieba.cut(text, cut_all=True)
print(f'【全模式1】：{"/".join(split_list)}')
print(f'【全模式2】：{"/".join(split_list)}')

split_list = jieba.cut(text, cut_all=False)
print(f'【精确模式】：{"/".join(split_list)}')

split_list = jieba.cut_for_search(text)
print(f'【搜索模式】：{"/".join(split_list)}')

# 去除停用词
stopwords = ['的', '包括', '等', '是'] # 停用词表
text = "故宫的著名景点包括乾清宫、太和殿和午门等。其中乾清宫非常精美，午门是紫禁城的正门。"
# 精确模式
segs = jieba.cut(text, cut_all=False)
final = ''
for seg in segs:
    # 如果切分的单词不在停用词表中，就进行输出
    if seg not in stopwords:
            final += seg
print (final)

seg_list = jieba.cut(final, cut_all=False)
print ("/ ".join(seg_list))

